跳到主要内容

支持模型及平台

支持模型​

类型/系列模型及精度版本
Qwen 3Qwen3-Next-80B-A3B
Qwen 3.5Qwen3.5-0.8B、Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B、Qwen3.5-27B(BF16/FP8)、Qwen3.5-35B-A3B(BF16/FP8)、Qwen3.5-122B-A10B、Qwen3.5-397B-A17B-FP8
Qwen 3.6Qwen3.6-27B、Qwen3.6-35B-A3B,均包含 BF16 和 FP8 精度
Qwen-3-VL-InstructQwen3-VL-8B、Qwen3-VL-32B、Qwen3-VL-30B-A3B,均包含 BF16 和 FP8 精度
DeepSeekDeepSeek-V4-Flash-Base

支持平台​

GPU:MTT S5000

CPUOS
Intel/AMDUbuntu 22.04.4 LTS
HygonUbuntu 22.04.4 LTS
Kylin